home *** CD-ROM | disk | FTP | other *** search
/ InfoMagic Internet Tools 1993 July / Internet Tools.iso / RockRidge / info-service / gopher / Unix / gopher1.12 / gopherd / Waisindex.c < prev    next >
Encoding:
C/C++ Source or Header  |  1993-01-11  |  10.4 KB  |  422 lines
  1. /********************************************************************
  2.  * $Author: lindner $
  3.  * $Revision: 1.4 $
  4.  * $Date: 1993/01/05 02:41:28 $
  5.  * $Source: /home/mudhoney/GopherSrc/release1.11/gopherd/RCS/Waisindex.c,v $
  6.  * $State: Rel $
  7.  *
  8.  * Paul Lindner, University of Minnesota CIS.
  9.  *
  10.  * Copyright 1991, 1992 by the Regents of the University of Minnesota
  11.  * see the file "Copyright" in the distribution for conditions of use.
  12.  *********************************************************************
  13.  * MODULE: Waisindex.c
  14.  * Routines to translate wais indexes on disk to gopher
  15.  *********************************************************************
  16.  * Revision History:
  17.  * $Log: Waisindex.c,v $
  18.  * Revision 1.4  1993/01/05  02:41:28  lindner
  19.  * .cap files are now ignored by the indexer
  20.  *
  21.  * Revision 1.3  1993/01/01  00:12:41  lindner
  22.  * Fixed parameters to GDnew()
  23.  *
  24.  * Revision 1.2  1992/12/21  20:36:44  lindner
  25.  * Added #include for cutil.h (from dgg)
  26.  *
  27.  * Revision 1.1  1992/12/10  23:13:27  lindner
  28.  * gopher 1.1 release
  29.  *
  30.  *
  31.  *********************************************************************/
  32.  
  33. #if defined(WAISSEARCH)
  34.  
  35. /* WIDE AREA INFORMATION SERVER SOFTWARE
  36.    No guarantees or restrictions.  See the readme file for the full standard
  37.    disclaimer.    
  38.    Brewster@think.com
  39.  
  40.    Heavily hacked by Paul Lindner (lindner@boombox.micro.umn.edu)
  41.    Do you even recognize this Brewster? :-)
  42.  
  43. */
  44.  
  45. int ShowDate = 0;
  46.  
  47. #define _search_c
  48.  
  49. #include "gopherd.h"
  50.  
  51.  
  52. #if defined(_AIX)
  53. #define ANSI_LIKE
  54. #endif
  55.  
  56. #include "../ir/irext.h"
  57. #include "../ir/irsearch.h"
  58. #include "../ir/docid.h"
  59. #include "../ir/irtfiles.h"
  60. #include "../ir/cutil.h"    /** fix for -DBIO wais needs.. **/
  61. #include <math.h>
  62.  
  63.  
  64. FILE *logfile = NULL; /* the logfile */
  65. char *log_file_name = NULL;
  66.  
  67. static char *DefaultDB = "index";
  68. static char *MonthStr[] = {
  69.      "Jan", "Feb", "Mar", "Apr", "May", "June", "July", "Sept", "Oct",
  70.       "Nov", "Dec"
  71. };
  72.  
  73. #if defined(void)
  74. #undef void
  75. #endif
  76.  
  77.  
  78.  
  79. int
  80. Process_Veronica(besthit, gs)
  81.   hit *besthit;
  82.   GopherObj *gs;
  83. {
  84.      FILE *ZeFile;
  85.      char veronicabuf[1024];
  86.      char *data, *cp;
  87.  
  88.      /*** Open up the file and seek to the right position ***/
  89.  
  90.      ZeFile = ufopen(besthit->filename, "r");
  91.  
  92.      if (ZeFile == NULL)
  93.       return(-1);
  94.  
  95.      fseek(ZeFile, besthit->start_character, 0);
  96.  
  97.      bzero(veronicabuf, sizeof(veronicabuf));
  98.      fread(veronicabuf, 1, besthit->end_character - besthit->start_character,
  99.        ZeFile);
  100.      veronicabuf[besthit->end_character - besthit->start_character+1] = '\0';
  101.      
  102.      
  103.      data = veronicabuf;
  104.      GSsetType(gs, *data);
  105.      
  106.      ZapCRLF(data);
  107.      
  108.      cp = strchr(data, '\t');
  109.      *cp = '\0';
  110.      GSsetTitle(gs, data+1);
  111.      
  112.      data = cp+1;
  113.      cp = strchr(data, '\t');
  114.      *cp = '\0';
  115.      GSsetPath(gs, data);
  116.      
  117.      data = cp + 1;
  118.      cp = strchr(data, '\t');
  119.      *cp = '\0';
  120.      GSsetHost(gs, data);
  121.      
  122.      GSsetPort(gs, atoi(cp+1));
  123.  
  124.      fclose(ZeFile);
  125.      return(0);
  126. }
  127.  
  128. void
  129. WaisIndexQuery(sockfd, index_directory, SearchWords, new_db_name, INDEXHost, INDEXPort, INDEXPath)
  130.   int sockfd;
  131.   char *index_directory;
  132.   char *SearchWords;
  133.   char *new_db_name;
  134.   char *INDEXHost;
  135.   int  INDEXPort;
  136.   char *INDEXPath;
  137. { 
  138.      database* db;
  139.      long maxRawScore;
  140.      long normalScore;
  141.      char *cp;
  142.      char *Selstrout;
  143.      char dateline[10];
  144.      long i;
  145.      query_parameter_type parameters;
  146.      boolean search_result;
  147.      char score[6];
  148.      static char ReturnLine[512];
  149.                                         
  150.      char * sidename;                    /* mtm 11-23-92 */
  151.      FILE * SideFile = NULL;             /* mtm 11-23-92 */
  152.  
  153.      GopherDirObj *gd;
  154.      GopherObj    *gs;
  155.      
  156.  
  157.      gs = GSnew();
  158.      gd = GDnew(32);
  159.  
  160.      if (DEBUG)  {
  161.       fprintf(stderr, "IndexPath: %s\n", INDEXPath);
  162.       logfile = stderr;   /** Log wais error messages to console **/
  163.      }     else {
  164.       logfile = ufopen("/dev/null", "w+");
  165.      }
  166.  
  167.      if (new_db_name == NULL) {
  168.       new_db_name = DefaultDB;
  169.      }
  170.  
  171.      if (uchdir(index_directory)) {
  172.       Abortoutput(sockfd, "Couldn't change to index directory...");
  173.       return;
  174.      }
  175.  
  176.      if (SearchWords != NULL && strlen(SearchWords) == 0) {
  177.       EveryWAISdocument(new_db_name);
  178.       return;
  179.      }
  180.  
  181.      db = openDatabase(new_db_name, false, true);
  182.      
  183.      if (db == NULL) {
  184.       sprintf(ReturnLine, "Failed to open database %s in index dir %s", new_db_name, index_directory);
  185.       Abortoutput(sockfd, ReturnLine);
  186.       writestring(sockfd, ".\r\n"); /** be polite **/
  187.       return;
  188.      }
  189.      
  190. #ifdef BIO            /* dgg */
  191. {
  192.      char *cp= read_delimiters( db);  /* use data-specific delim, available */
  193.  
  194.      if (cp != NULL) {
  195.       strcpy( gDelimiters, cp);
  196.       wordDelimiter= wordbreak_user;
  197.      }
  198.      else
  199.       wordDelimiter= wordbreak_notalnum;
  200. }
  201. #endif
  202.  
  203.      parameters.max_hit_retrieved = 256;
  204.  
  205.      set_query_parameter(SET_MAX_RETRIEVED_MASK, ¶meters);
  206.      
  207.      search_result = false;
  208.      search_result |= search_for_words(SearchWords, db, 0);
  209.      
  210.      if (search_result == true) {
  211.       /* the search went ok */
  212.       hit best_hit;
  213.       
  214.       finished_search_word(db);
  215.       if (DEBUG)
  216.            printf("After finished_search\n");
  217.  
  218.       uchdir(Data_Dir); /* necessary to find side files */
  219.  
  220.       for (i = 0; i < parameters.max_hit_retrieved; i++){ 
  221.            if (0 != next_best_hit(&best_hit, db))
  222.             break;        /* out of hits */
  223.            if (i == 0)
  224.             maxRawScore = best_hit.weight;
  225.            if (best_hit.weight > 0 && 
  226.            strstr(best_hit.filename, ".cache")==NULL &&
  227.            strstr(best_hit.filename, ".cap/")==NULL){
  228.             long lines,length;
  229.  
  230.             char** type = NULL;
  231.             
  232.             normalScore = (long)floor((((double)best_hit.weight) /
  233.                            ((double)maxRawScore)) *    
  234.                           (MAX_NORMAL_SCORE + 1));
  235.  
  236.             if (normalScore > MAX_NORMAL_SCORE)
  237.              normalScore = MAX_NORMAL_SCORE;
  238.             
  239.  
  240.             /*** Strip off the first part of the path in the filename*/
  241.             /*** Plus it gets rid of weird automount things... ***/
  242.             Selstrout =strstr(best_hit.filename, INDEXPath);
  243.             if (Selstrout == NULL)
  244.              Selstrout = "Error in Hostdata!";
  245.             else
  246.              Selstrout += strlen(INDEXPath);
  247.             
  248.  
  249.                     sprintf(score,"%3d ",best_hit.weight);
  250.  
  251.                     waislog(0,99,"%s: Score %3d:%s",SearchWords,best_hit.weight,Selstrout);
  252.             
  253.             /** Make the outgoing string **/
  254.  
  255.             ZapCRLF(best_hit.headline);
  256.             
  257.             /*** Remove the gopher data directory pathname if
  258.                  it's there from the headline
  259.             ***/
  260.  
  261.             if ((cp = strstr(best_hit.headline, INDEXPath)) != NULL) {
  262.              /*** Dangerous.... ***/
  263.              strcpy(cp, cp+strlen(INDEXPath));
  264.             } 
  265.              
  266.             GSsetType(gs, '0');
  267.             GSsetTitle(gs, best_hit.headline);
  268.             GSsetHost(gs, INDEXHost);
  269.             GSsetPort(gs, INDEXPort);
  270.  
  271.                  /* removed "/" from following line (before %s) . 
  272.                 Was getting double slash at least with w8b5bio; 
  273.                 mtm 11-23-92 */
  274.  
  275.             sprintf(ReturnLine, "R%d-%d-%s",
  276.                 best_hit.start_character, best_hit.end_character,
  277.                 Selstrout);
  278.             
  279.             if (!MacIndex)
  280.             GSsetPath(gs, ReturnLine);
  281.             else
  282.             GSsetPath(gs, Selstrout);
  283.             GSsetWeight(gs, best_hit.weight);
  284.             
  285.                     /* 
  286.              * Find and process sidefile. 
  287.              * Allow worst case name length. 
  288.              */
  289.  
  290.             if((sidename = (char *) malloc((unsigned) 
  291.                 strlen(Selstrout) + 
  292.                     strlen("/.cap/") + 1)) != NULL) {
  293.               if((cp = mtm_basename(Selstrout)) != Selstrout) {
  294.             /*  turn "/foo/bar/baz" into "/foo/bar/.cap/baz" */
  295.             strncpy(sidename,Selstrout,(cp - Selstrout));
  296.             *(sidename + (cp - Selstrout)) = '\0';
  297.             strcat(sidename,".cap/");
  298.             strcat(sidename,cp);
  299.               }
  300.               else {
  301.               /* root of the gopher tree, this is easier... */
  302.             strcpy(sidename,"/.cap/");
  303.             strcat(sidename,Selstrout);
  304.               }
  305.               if ((SideFile = rfopen(sidename, "r")) != NULL) {
  306.             if (DEBUG == TRUE)
  307.               printf("Side file name: %s\n", sidename);
  308.             Process_Side(SideFile, gs);
  309.               }
  310.               free(sidename);
  311.             }
  312.             
  313.             if (DEBUG) printf("Doc type is %s\n", best_hit.type);
  314.             if (strcmp(best_hit.type, "GOPHER")==0) {
  315.             if (DEBUG) printf("Got a veronica style thing %s\n",best_hit.headline);
  316.             Process_Veronica(&best_hit, gs);
  317.            }            
  318.             
  319.             GStoNet(gs,sockfd);
  320.  
  321.            }
  322.            
  323.            
  324.            if (DEBUG) {
  325.             printf("%s\n", ReturnLine);
  326.             printf("End Byte   = %d\n", best_hit.end_character);
  327.             printf("Doc length = %d\n", best_hit.document_length);
  328.             printf("#lines     = %d\n", best_hit.number_of_lines);
  329.            }
  330.       }
  331.      }
  332.      else {
  333.       /* something went awry in the search */
  334.       LOGGopher(sockfd, "Something went wrong in the search!\r\n");
  335.       writestring(sockfd, ".\r\n"); /*** be polite, don't screw up the client**/
  336.       return;
  337.      }
  338.      finished_best_hit(db);
  339.  
  340.      writestring(sockfd, ".\r\n");
  341.  
  342.      /* free everything */
  343.      closeDatabase(db);
  344.      return;
  345. }
  346.  
  347. EveryWAISdocument(sockfd, db, INDEXHost, INDEXPort, INDEXPath)
  348.   int sockfd;
  349.   char *db;
  350.   char *INDEXHost;
  351.   int  INDEXPort;
  352.   char *INDEXPath;
  353. {
  354.      FILE         *dbcatalog;
  355.      char         db_name[MAXPATHLEN];
  356.      char         inputline[512];
  357.      String       *Headline;
  358.      String       *Filename;
  359.      int          StartByte, EndByte;
  360.      GopherObj    *gs;
  361.      GopherDirObj *gd;
  362.      boolean      Headlineset = FALSE;
  363.      boolean      DocIDset    = FALSE;
  364.  
  365.      gs = GSnew();
  366.      gd = GDnew(32);
  367.      Headline = STRnew();
  368.      Filename = STRnew();
  369.  
  370.      strcpy(db_name, db);
  371.      strcat(db_name, ".cat");
  372.  
  373.      dbcatalog = rfopen(db_name, "r");
  374.      
  375.      while (fgets(inputline, sizeof(inputline), dbcatalog) != NULL) {
  376.       if (strncmp(inputline, "Headline: ", 10)==0) {
  377.            STRset(Headline, inputline +10);
  378.            Headlineset = TRUE;
  379.       }
  380.       else if (strncmp(inputline, "DocID: ", 7)==0) {
  381.            char *cp;
  382.  
  383.            StartByte = atoi(inputline);
  384.            cp = strchr(inputline+7, ' ');
  385.            if (cp == NULL) break;
  386.  
  387.            cp++;
  388.            EndByte = atoi(cp);
  389.  
  390.            cp = strchr(inputline+7, ' ');
  391.            cp++;
  392.            if (cp == NULL) break;
  393.  
  394.            cp =strstr(cp, INDEXPath);
  395.            if (cp == NULL) break;
  396.            
  397.            STRset(Filename, cp);
  398.  
  399.            DocIDset = TRUE;
  400.       }
  401.       
  402.       if (DocIDset == TRUE && Headlineset == TRUE) {
  403.            char tmppath[512];
  404.  
  405.            sprintf(tmppath, "R%d-%d-%s", StartByte, EndByte, STRget(Filename));
  406.  
  407.            GSsetType(gs, '0');
  408.            GSsetTitle(gs, STRget(Headline));
  409.            GSsetHost(gs, INDEXHost);
  410.            GSsetPort(gs, INDEXPort);
  411.            GSsetPath(gs, tmppath);
  412.  
  413.            GDaddGS(gd, gs);
  414.  
  415.            DocIDset = FALSE;
  416.            Headlineset = FALSE;
  417.       }
  418.      }      
  419. }
  420.  
  421. #endif /** WAISSEARCH **/
  422.